Processus markovien avec continuité d’espace et/ou de temps

JL Marchand

16/01/2025


1. Motivations


1.1 Pourquoi l’espace continu ?


1.2 Pourquoi le temps continu ?


2. Temps continu, espace d’états fini


2.1 Mettons-nous en situation


2.2 Temps de sortie et absence de mémoire


2.3 La loi exponentielle


2.4 Chaîne de Markov à temps continu

2.4.1 Définition

un générateur sur un espace d’états \(E\), est une matrice \(Q = (q_{ij})_{i,j\in E}\) vérifiant

2.4.2 Définition

le processus \((X_t)_{t\geq0}\) est une chaîne de Markov à temps continu de générateur \(Q\) si


2.5 Loi de \(X_t\)

2.5.1 Théorème

si un processus \((X_t)_{t\geq0}\) est une chaîne de Markov à temps continu de générateur \(Q\) alors conditionnellement à \(X_s=i\), le processus \((X_{s+t})_{t\geq0}\) est une chaîne de Markov à temps continu de générateur \(Q\) issue de \(i\) indépendante de \((X_{r})_{0\leq r\leq s}.\)


2.6 Récurrence/Transience

2.6.1 Définition

soit \((X_t)_{t\geq0}\) est une chaîne de Markov à temps continu de générateur \(Q\)

2.6.2 Théorème

soit \((X_t)_{t\geq0}\) est une chaîne de Markov à temps continu de générateur \(Q\)


2.7 Classification

2.7.1 Théorème

soit \((X_t)_{t\geq0}\) est une chaîne de Markov à temps continu de générateur \(Q\), on a la dichotomie suivante


2.8 Mesure invariante

2.8.1 Définition

on dit qu’une mesure \(\lambda\) est invariante pour \(X\) si $$\lambda Q= 0$$ (où \(0\) est à comprendre comme un vecteur ligne constitué de zéros)

2.8.2 Théorème

soit \(Q\) un générateur, \(\Pi\) sa matrice de saut et \(\lambda\) une mesure, les deux assertions suivantes sont équivalentes

2.8.3 Propriété

une chaîne de Markov en temps continu irréductible récurrente possède une unique probabilité invariante


2.9 Parce que la périodicité n’a plus cours

2.9.1 Théorème

soit \(Q\) un générateur irréductible de semi-groupe \(\left(P(t)\right)_{t\geq 0}\) et de probabilité invariante \(\lambda\), alors pour tous états \(i,j\), $$\lim_{t\to+\infty} p_{ij}(t)=\lambda_j$$ De plus pour tout mesure initiale \(\nu\), $$ \lim_{t\to +\infty} \mathbb P(X_t=i)= \frac{1}{q_{i}\mathbb E[T_i|X_0=i]}.$$ Pour toute fonction bornée \(f\colon E\rightarrow \mathbb R\),$$\lim_{t\to+\infty}\frac1t\int_0^tf(X_s)ds= \sum_{i\in E}\lambda_i f(i).$$


3. Temps continu, espace d’états infini dénombrable


3.1 Mettons-nous en situation

- hypothèse : le nouveau temps d'apparition ne dépend que du précédent

3.2 Le danger de l’explosion

3.2.1 Propriété

soit \((X_t)_{t\geq 0}\) un processus de Markov en temps continu de générateur \(Q=(q_{ij})_{i,j\in E}\) alors n’explose pas si l’une des conditions suivantes est vérifiée


3.3 C’est tout ?

3.3.1 Théorème

soit Q un générateur irréductible. Les propriétés suivantes sont équivalentes :

3.3.2 Théorème

soit \(Q\) un générateur irréductible non-explosif de semi-groupe \(\left(P(t)\right)_{t\geq 0}\) et de probabilité invariante \(\lambda\), alors pour tous états \(i,j\), $$\lim_{t\to+\infty} p_{ij}(t)=\lambda_j$$ De plus pour tout mesure initiale \(\nu\), $$ \lim_{t\to +\infty} \mathbb P(X_t=i)= \frac{1}{q_{i}\mathbb E[T_i|X_0=i]}.$$ Pour toute fonction bornée \(f\colon E\rightarrow \mathbb R\),$$\lim_{t\to+\infty}\frac1t\int_0^tf(X_s)ds= \sum_{i\in E}\lambda_i f(i).$$


3.4 Ok, ok et moi dans tout ça ?


3.5 Processus de Poisson


3.6 Remarques


4. Temps discret, espace d’états infini indénombrable


4.1 Loi normale


4.2 Vaste monde


4.3 AR(1) gaussien

-Supposons de plus


4.4 Processus gaussien en temps discret

4.4.1 Définition

un processus stochastique \((X_n)_{n\in \mathbb N}\) est dit gaussien si pour toute liste finie d’indices \(n_1,\dots,n_k\in\mathbb N\) et de réels \(a_1,\dots, a_n\) la variable $$\sum_{i=1}^ka_iX_{n_i}$$ suit une loi normale

4.5 Propriété

un processus gaussien est entièrement caractérisé par la donnée des fonctions moyenne \(m\) et covariance \(K\), $$m(n)=\mathbb E[X_n],\quad K(n,m)=\textrm{Cov}(X_n,X_m)$$ en particulier \(X_n \sim \mathcal N(m(n), K(n,n))\)


5. Temps continu, espace d’états infini indénombrable


5.1 Processus gaussien en temps continu

5.1.1 Définition

un processus stochastique \((X_t)_{t\in \mathbb R}\) est dit gaussien si pour toute liste finie d’instants \(t_1,\dots,t_k\in \mathbb R^+\) et de réels \(a_1,\dots, a_n\) la variable $$\sum_{i=1}^ka_iX_{t_i}$$ suit une loi normale

5.1.2 Propriété

un processus gaussien est entièrement caractérisé par la donnée des fonctions moyenne \(m\) et covariance \(K\), $$m(t)=\mathbb E[X_t],\quad K(s,t)=\textrm{Cov}(X_s,X_t)$$


5.2 Mouvement brownien

5.2.1 Définition

un mouvement brownien est un processus aléatoire \((B_t)_{t\in \mathbb R^+}\) tel que


5.3 Processus d’Ornstein-Uhlenbeck

5.3.1 Définition

le processus d’Ornstein-Uhlenbeck est la solution de l’équation différentielle stochastique suivante $$dX_t = \theta(\mu-X_t)dt+\sigma dB_t,$$ où \(B\) est un mouvement brownien, \(\theta,\sigma>0\).


5.4 Loi de \(X_t\)


5.5 Comportement en temps long


5.6 Processus non-homogènes


5.7 Références